APeB: Benchmarking Personalization Ability of Large Language Model Agents
APeB：大模型智能体个性化能力基准测试
🧭 个性化产品搜索 · Agent评测 ★ 深度解读
The Chinese University of Hong Kong · ByteDance
构建真实个性化产品搜索基准，揭示LLM智能体在模糊意图与噪声历史下历史利用不足的核心瓶颈
📌 工作参考价值（4 点）
- 历史利用率短板是当前LLM Agent的致命伤：在模糊查询（如“校园风”）、强竞争候选下，直接喂入长历史效果甚微，应设计显式历史摘要或查询改写模块（如论文的VQRA），先凝练偏好再匹配，而不是端到端扔给LLM。
- 用“硬负样本”逼近真实场景：随机候选主要测语义匹配，硬候选（用户曾浏览但未买）才暴露个性化缺陷；业务评估推荐/搜索时，应构造同会话内的高度相似物品池来检验真实个性化能力。
- ReAct等工作流在模糊查询上未必加分：多步推理可放大意图理解错误；在query不明确时，先迭代改写query（用历史信息）再单步决策，可能比盲目增加推理步数更有效。
- LLM-as-a-Judge诊断中间推理路径：可定义意图推断、偏好提取、推荐对齐等分项指标，用LLM综合打分来定位模型失败节点，该方法可复用到电商Agent的离线优化流程。